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To transmit sequences of television pictures via a transmission channel having 
limited transmission capacity,, sequences of television pictures existing at the 
transmitter are omitted during the transmission. The omitted sequences of 
television pictures are in each case reconstructed at the receiver from a 
previously transmitted sequence of television pictures and an additionally 
transmitted signal which contains information on the displacement of part image 
areas for the omitted sequence of television pictures. It is determined by means 
of a comparison at the transmitter whether the reconstructed sequence of 
television pictures obtained on the basis of the information on the displacement 
of part-image areas corresponds to the omitted original sequence of television 
pictures. If this is not so, picture-element- dependent information items for such 
part-image areas are inserted into the transmitted datastream. Data supplied 
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© Vert ahren zum Ubertragen und zum Wledergeben von Fernsehbildsequenzen. 



© Zum Obertragen von Fernsehbildsequenzen Qber einen Obertragungskanai mit begrenzter 
Obertragungskapazitat warden sanderseitig vorhandene Fernsehbildsequenzen bei der Obertragung ausgeiassen. 
Die empfSngerseftige Refconstruktion der ausgelassenen Fernsehbildsequenzen erftrigt jewel is aus einer zuvor 
Qbertragenen Femsehbildsequenz und elnem zusBtzilch Qbertragenan Signal, welches eines Information Qber die 
Verschlebung von TellbiWberefchen fOr die ausgelassene Femsehbildsequenz enthfiH Durch einen senderseiti- 
gen Vergleich wird festgestetlt ob die aufgrund der information Qber die Verschlebung von Teilbitdbereichen 
gewonnene rekonstruierte Femsehbildsequenz mit der ausgelassenen Originaifemsehbildsequenz Ubereinstimmt 
1st dios nicht der Fall, warden fOr soiche Toflbildbereiche bHdpunktabhfingige Informationen in den Qbertragenen 
Daten strom eingefQgt 
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Verfahren zum Obertragen und aim Wiedergeben von Femsehblldsequenzen 



Die Erfindung geht aus von oinem Verfahren gemSfl dem Oberbegriff des Patentanspruchs 1. Bn 
solches Verfahren ist bekannt bus De-OS 34 08 016. Bn anderes Verfahren 1st in der aiteren EP- 
PatentanmeWung 86 103 153 (EP 236 510 A1) vorgeschlagen worden. 

Wenn Femsehbitdsequenzen, insbesondere solche mil erti6hter AufldsungsqualHBt Qber elnen 

$ Obertragungskanal mit begrenzter 0bertragung8k8pazH9t Obertragen werden sollen, 1st as mftgllch, sender- 
seitig vorhandene Femsehblkteequenzen bei der Obertragung auszutassen und die ausgelassenen BiWse- 
quenzen empffingerseitig aus zwei benachbarten Qbertragenen zu Interpolieren. Dlese Methods fQhrt zu 
einer unzulSngtehen Rekonstruktion bewegter Blldbereiche. Es trttt elne Mehrfachdarstellung bewegter 
Blldbereiche auf t was zu ruckartigen BewegungsablSufen be! der Wiedergabe fOhrt 

io In der 81teren EP 88 103 153 wurde zur Vermeldung dieses Nachtells vorgeschlagen, mittets eines 
InterpolationsfHters jedes Bildelement einer ausgelassenen Femsehbildsequenz mittets eines Ver- 
schlebungsvektors fOr jeden Bildpunkt und je einem Bildelement aus zwei Qbertragenen Femsehbildsequen- 
zen zu interpoileren. Der IteratJonsprozese zur Ermlttlung des Verschiebungsvektors wurde dabel bewegun- 
gsabhflnglg gesteuert 

19 Aufgabe der Erfindung 1st es, das Verfahren gemSfl dem Oberbegriff des Patentanspruchs 1 so 
auszugestaiten, dad der Verarbeitungsaufwand bei einer Dateroeduktion gerfng bleibt, ohne eine Qua- 
litfitsmlnderung insbesondere in schneli bewegten Bildbereichen befQrchten zu mOssen. Diese Aufgabe wlrd 
durch die Merkmate des Patentanspruchs 1 gel8st Ausgestaltungen der Erfindung sind In den Unter- 
ansprOchen beschrieben. 

so Die Erfindung geht von folgenden Erkenntnissen aus: 

Bisher (DE-OS 34 08 016; EP 86 103 153) wurde der Verschiebungsvektor Wr jeden Bildpunkt einer 
Femsehbildsequenz (Halbbild bei Zeilensprungverfahren Oder VoilWId bei progressiver Abtastung) ermitteit 
Abgesehen von dem sehr hohen Verarbeitungsaufwand spait man damit keine Obertragungskapazftat Es 
wurde nun durch statlstische Untersuchungen ermitteit, daB Verschlebungen (Displacements) benachbarter 

25 Bltdpunkte Qber elnen groBen Bereich die gleichen Werte haben. Dies lUt sich anschaulich mtt der 
Tatsache beiegen, daB Objekte eine bestimmte Ausdehnung haben mUssen, urn im BikJ erfcannt zu werden. 
Ermitteit man demnach elne Verschiebung nicht fOr elnen einzeben Bildpunkt sondem fOr elnen TeiWWbe- 
reich (Block), beispielseise der Gr6Be 9x7 Bildpunkt©. so 1801 sich der Aufwand (Rechenleistung) bei der 
Ermittfung der Verschiebung urn den Faktor 63 reduzteren. 

so Bisherfgs Verfahren basierten darauf, eine bei der Obertragung ausgelassene Femsehbildsequenz aus 
mindestens zwei Qbertragenen Femsehbildem und gegebenenfaOs einer Zusatzinfdrmatlon zu rekonstruie- 
ren (interpofieren). BeJm Verfahren gemSfl der Erfindung hlngegen wird eine beim Obertragen ausgelassene • 
Femsehbildsequenz aus einer zuvor Qbertragenen Femsehbildsequenz und aus einer Qbertragenen Informa- 
tion Qber die Verschiebung eines Teifbitdberetches einer beim Obertragen ausgelassenen Femsehbiktee- 
quenz bezogen auf elne Qbertragene Femsehbildsequenz rekonstruiert Es erfolgt somit keine Interpolation 
zwischen zwei Oder mehreren Qbertragenen Femsehblkisequenzen, sondem eine Rekonstruktion aus nur 
einer zuvor gesendeten Femsehbildsequenz in Zusammenhang mit einer VerscWebungsinfbrmatfon 
(Forward displacement estimation). Durch diese MaBnahme reduziert sich der BHdspelcherbedarf sender- 
und empffingerseitig erhabGch. 

40 FUr Teiibildbereiche, fUr die wegen des hohen BewegungsanteBs keine Verschiebungsinformation 
ermitteit, werden kann, werden WWpunktabh&ngige Informationen fOr diesen TeiWldbereich In den 
Qbertragenen Oatenstrom eingefOgt Es erfolgt also fOr bewegte Blldbereiche eine Wiedergabe mit der 
vollen zeitfichen Auflosung. 

Das Verfahren nach der Erfindung 1st unter anderem fOr foigende Anwendungen gesignet: 

49 - HochquaJitStsfemsehen mit 34 Mbft/s basierend auf CCIR Rec 601, 

• HDTV (High density television) -Obertragung auf 140 MbH/s-Obertragungskanaien, 

• niederbitratige VldeokonferenzbildObertragung (2 Mbrt/s, 384 kbit/s, 64 kbit/s), 

• Bitdrekonstruktion f Or ruckfreie Zeitlupe, 

- StaWIteterung verwackelter Bikfeequenzen (z.B. wenn (fie Aufnahmekamara nicht feststehen kann), 
so • Bewegungskompensation von Objekten (z.B. Zeilen unter dem Mikroskop), 

- FUmmerbefrelung der Wiedergabe von Femsehbildem (Vollbilddarsteliung), 

• Normwandlung zwischen unterschiedlichen BikJwechselfrequenzen. 

Anand der Zeichnungen wird ein AuafQhrungsbeispiel der Erfindung nun eri&utert Es zeigen 
Fig. 1 das Prinzip der Rekonstruktion ausgelassener FemsehWIdsequenzen, 
Fig. 2 das Prinzip der ErmitQung von Verschiebungsvektoren f Or Teitblldbereiche, 
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Fig. 3 ein BlockschattbiW filr einen Coder nach dem Verfahren der Erfindung, 
Rg. 4 ein Bkxkschaltbi W f Or einen Displacement-Schfitzer, 
Fig. 5 die Displacements fUr ein Feld von Tefiblldbereichen, 
Rg. 6 die DPCM-lmpiementierung des DPCM-Coders, 
5 Fig. 7 die Quantisterung und VWL-Codierung, 

Rg. 8 ein Blockschattbild fOr die Baugruppen des Decoders, 
. Rg. 9 die Struktur des VWL-Decoders, 
Rg. 10 die Struktur des DPCM-luminanz-Decoders, 
Rg. 1 1 die Struktur des Displacement-Interpolators, 
ro Rg. 1 2 die Struktur des Interpolation-Buffers, 

Rg. 13 bis 16 Strukturelemente des Interpolationsfiftefs. 
In Fig. 1 1st das Prinzip der Rekonstruktton von FemsehbiHsequenzen nach der Erfindung da/gestellL 
Es wurde hierbei vom Zeilen-Sprungverfahren • Obertragung zweier Halbbilder (field) zum Alrfbau eines 
Voiibildes (frame) * ausgegangen. Bne progressive zeltllche Abtastung zur Obertragung eines Vollbfldes 1st 
is mtt dem Verfahren der Erfmdung natQrttch auch mSglich. Die beiden Halbbilder K-2 und K-2* warden 
beispielsweise in digital codierter Form mittets DPCM Qbertragen (transmitted fields). Die Halbbflder K-1 
und K-r werden nicht Qbertragen (skipped fields). Die Halbbilder K und K' warden wtederum Qbertragen. 
Die ausgelassenen Halbbilder sind empfflngerseitig rekonstruierbar. So wfrd beispielsweise das nicht 
Obertragene Halbbild K-1 aus dem Obertragenen Halbbild K-2 und einem Qbertragenen Signal retonstruiert 
20 welches eine Information Uber die Verschiebung zwischen den Bildsequenzen K-2 und K-1 enthfilt Es wird 
ein Feid von Verschiebungsvektoren (Displacements) berechnet (Fig. 2). Die Verschlebungsvektoren werden 
aus den zuvor genannten GrQnden nicht bildpunktweise errnittett, sondem jeweils fQr einen Tellbildbereich 
(Block). 

Rgur 2 zeigt die Unterteifung einer Bildsequenz in Teilbildbereiche glelcher Grd£e (Rxed blocks). Der 
25 eingezeichnete Verschiebungsvektor gibt die Verschiebung des Bildinhalts eines Btockes von der Bildse- 
quenz K-2 zur Bildsequenz K-1 an. Die Grfifie eines Teilbildbereiches (Block size) wird vorzugsweise durch 
9x7 Bildpunkte bel einem Schfitzfenster der QrdSe 19 x 15 Bitdpunkte beschrieben. Aus den Ver- 
schiebungstomponenten dx und dy des Verschiebungsvektors ISflt sich Betrag und Winkel der Bewegungs- 
richtung des Bildinhalts der Teilbildbereiche durch einfache Koordinatentransformation ermittetn. 
30 Anhand eines 34 Mbitto-Coders (Rg. 3) und eines entsprechenden Decoders (Rg. 8) mH bewegungs- 
kompensierter Bildrekonstruktion (Motion-Compensated frame interpolation) werden die Verfahrensschrtts 
der Erfindung im einzelnen erlSutert. 

Das senderseitig verfQgbare Bildsignal (Original picture) fiegt beispielsweise PCM codiert vor. Es wird einer 
Codierstufe (DPCM Coder) zugefQhrt zur Aufbereitung jedes zwerten Voiibildes fllr die Obertragung in 

as DPCM. Der Ausgang dieser Codierstufe 1st Uber ein Zeitverzdgerungsglied r mft einem Video-Multiplexer * 
(Video Mux) • Bngang I • verbunden. FOr die dazwischen liegenden Voilbilder wird Im Normalfall; dh. es 
treten keine zu stark bewegten Teilbildbereiche auf, nur ein Signal zur Obertragung an den Video- 
Multiplexer • Bngang II -weitergegeben. welches informationen Qber die Verschiebungsvektoren enthfilt 
Auflerdem enthilt der Video-Multiplexer Uber seinen Eingang III noch Steuersignale von einer Steuerstufe 

40 (Mode Control), welche Steuerdgnale fUr foJgende Betrlebsarten zur VerfOgung stellt 

- alleinige Obertragung von Displacements, 

- Obertragung von Displacements und bildpunktabhMnglge DPCM Irtforrnattonen fOr bestimmte Bldcke, 
• Buffer level Informationen. 

Es wird also Qber die Steuersignale festgelegt welche Bildsequenzen voll in DPCM Qbertragen werden, 
46 welche ausgelassenen Bildsequenzen anhand von Qbertragenen Displacements rekonstruiert werden und 
fOr welche Teilbildbereiche, filr die kein Displacement ermittsft werden kann, bildpunktabh&ngige DPCM- 
Signale fQr diese Teilbildbereiche In den Qbertragenen Datenstrom eingefQgt werden. Zur Aufbereitung 
dieser Steuersignale wertet die Steuerstufe die Synchronimpulse (Sync) der Bildsequenzen und 
Displacement-Fehler aus; d.h. Unterschiede zwischen OriginafolBcken und ihren aufgrund der Displace- 
so ments gebildeten Rekonstruktionen. Die Displacements werden mittels eines Dlspfaremerrt-Schfitzers 
(Dispiacement-Estimator) aus einer aktuelien Bildsequenz K und einer zuvor Qbertragenen und Im Vollbild- 
speicher (Frame store) abgelegten rekonstruierten Bildsequenz K-2 ermittelt Die Funktioneweise dieses 
Dlsplacement-Schfitzers, der parallel zum DPCM Coder arbeitet wird nun in Verbindung mrt Fig. 4 ertButert 
Die beiden Halbblldsequenzen K-2 und K werden jeweils vertikal vorgsfiltert -Tlefpaflfflter RR1 und 
55 FIR2 • urn 8lnguiMre Zeilen zu dflmpfen. Singutflre Zeilen ergeben sich aufgrund des Zellen-8prungverfah- 
rens durch Unterabtastung des Bitdinhaltes in vertikaler Richtung. Das Werdurch verursachte Aliasing 
kSnnte den DispiacementschStzvorgang stSren, Das Aliasing fiufiert sich in Form von einzelnen Zeilen • 
singulfire Zeilen die deuHich vom Grauwert ihrer Umgebung abweichen kflnnen. Das Blld wird durch die 
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Tlet paWlterung zwar unschSrfer, aber das Aliasing be) hohen Frequenzen wird mltgedimpft und die 
SchStzung dadurch nicht verscNechtBrt. Untersuchungen zelgten, daB mit FIR (fir^mpulse-response) 
-HHem drttter Ordnung mit den KoeffWenten 1/4. 1/2, 1/4 eine gute UnterdrOckung stngulSrer Zellen zu 
erreichen 1st. 

$ Zur Ermltttung der Displacements; dJi. ihrer x-und y-Komponenten, wird ein aus DE-OS 34 08 018 
bekanntes Verfahren angewendet Dieses Verfahren arbeitet iterativ; d.h. das Ergebnis eines jeden 
Iterationsschrittes i wird ate Startwert fOr den nichsten Schritt benutzt FOr die Komponenten des Displace- 
ments gilt 
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dxfl) X Displacement im L Rerationsschritt 
dy(i) Y Displacement im L Iterationsschritt 
E Erwartungswert Ober ein FeW n*m 
FD Bild zu Blld • DHferenz an der Steite X Y 
Sk Xs AbtOHung In X Rlchtung an der Stelle X Y In BiW K 
8k Ys Ableitung In Y Rlchtung an der 8telle X Y In Bird K 
8km1 Xs Ableitung In X Rlchtung an der SteOe X Y In Bild K minus 1 
Skml Ys Ableitung In Y Rlchtung an der Stelle X Y In Hid K minus 1. 
Man erhfitt nun: 
dx - dx(M) + dx(i) (2) 
dy ■ dy(M) ♦ dy(I) 

Das Verfahren wird Ober ein FeW mft 19 x 15 BHdpunkten (pel) mltdrei teratfonsschritten i angewendet 
Damrt 1st die SehStzung fOr ein dx von maximal 9 pel und ein dy von maximal 7 pel gOltig, vorausgesetzt 
dad das terattonsvarfahren konverglert 

Zur Verbesserung der Schfflzung, Insbesondere hfnsichtllch geringerem Rechenaufwand und hdherer 
ZuverlSssigkett der Dlsplacemem-Bestimmung warden die nachfotgend geschflderten MaBnahmen getrof- 
fen. 

Bisher, belspielsweise beim Schitzverfahren gemSfi DE-OS 34 08 018, wurde der Verschiebungsvektor 
fOr Jeden Bildpunkt berechnet Abgesehen von dem sehr hohen Rechenaufw8nd spart man so keine 
Obertragungskapazitflt StaMsche Untersuchungen zelgten, daB Displacements benachbartar Bildpunkt© 
Ober elnen groBen Bereich cfie glelchen Werte haben. Dies Iflflt sJch anschauflch mit der Tatsache beiegen, 
daB Objekte elne bestlmmte Ausdehnung haben mOssen, urn Im Blld erkannt zu werden. Der Ver- 
schiebungsvektor wW in dem Verfahren fOr elnen Block der GrOfle 97 als gfflttg ertdirt Durch diese 
Ausnutzung der Bgenschaften des Blldinhalts wird die ndtlge Rechenlelstung urn den Faktor 63 reduzlert 

Wle zuvor erw9hnt wird das Verfahren iterate angewendet und konverglert zum Displacement Das 
Verfahren kann beschleunfgt werden, indem man den Verschiebungsvektor an der glelchen rlumBchen 
Stelle aus dem zeitBch vorangegangenen Bad als Startwert ftJr die SchSfeung nimmt Dadurch ergeben sich 
folgende Verbesserungen: 

- Beschleunigung der Konvergenz urn den Faktor 2; d.h. es 1st be! gleteher Qenaulgkeit nur die halbe 
Rechenlelstung erforderiich. 

• Bel unscharfem Bildinhalt {zB. schneBem Schwenk), wenn die Iteration nur urwoflkommen konverglert 
bieibt der Startwert fast ungefindert bestehen. (TrSgheitseffekt) Ruckeln in schnelfen Bewegungen wird 
dadurch vermieden. 

Es wird ein dynamisches DispJacementschStzfenster (dynamic image window) angewendet, wobei das 
8chitzfenster dann vergrSfiert wird, wenn das Im ersten Durchteuf geschfitzte Displacement grSBer 1st als 
die halbe ScftStzfenstergrffie. Der Vorgang der VergrOBerung des Displacementschfitzfensters wird sotange 
(max. 4 ma!) wiederhott bis das Displacement innerhalb des SchStzfensters liegt Fig. 4 zelgt schemtech, 
welche SchStzfenstergrBBen zu welchen Displacements dx und dy gehoren. Durch dese MaBnahme 
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warden auch seltene groBe Displacements erf ait und richtig geschfitet Falls (fie Dispiacementschitzung 
nicht konvergiert - dx > 36, dy > 30 • also kein Dispiacementvektor Tf gefunden warden kann 
(Divergence), wird an die Steuerstufe (Mode control) ein Signal abgegeben, biWpunktabhfingige DPCM* 
Signal© f Or diesen Teilblldbereich (Block) Qber den Video-Multiplexer (Video Mux) In den zu Obertragenden 
5 Datenstrom einzufUgen. Jeder ermittelte Dispiacementvektor If mft beisplelswelse den Komponenten D*, 
DyK wird an elnen Vektorspelcher (Vector Store) wetergegeben. Dieser Vektorspeicher dient dazu, Displace- 
ments aus Femsehbildsequenzen, die zeltllch zuvor ermlttett wurden, z.B. aus dam Habbild K-2, dam 
Displacement-SchStzer zur aktueflen Displacement-Ermitttung zur VerfUgung zu stellen. Auflerdem steBt der 
Vektorspeicher der VertrauensprOfungsstufe (Reliability Test) nicht nur den gerade ermlttetten Displace- 
to mentvektor fUr einen Teilbildbereich (Block) zur VerfQgung, sondem auch (fie Displacementvektoren der 
benachbarten Teiibildbereiche. In der VertrauensprOfungsstufe wird die GQitlgkeit eines Ver- 
schiebungsvektors innerhalb einer Viererumgebung (4 BlOcke) urn den aktueflen Block durchgefOhrt (Star 
environment). Diese Anordnung sieht folgendermaiten aus: 



20 wobei o den aktueiten Block und 
x Nachbarbtdcke bezetahnen. 

Statist! sche Untersuchungen haben ergeben, dafl die Abweichung des Mfttelwerts aus der Viererumge- 
bung zum aktuellen Displacement in X-Richtung Meiner 2pel und In Y-Richtung kteiner 1pel 1st Dies gilt fOr 
ca. 86 % aller Displacements. Die restiichen 4 % warden als Ausrelter deklartert und dure* den Mfttetwert 

K der Viererumgebung ersetzt Der Schweliwert zur Durchftlhrung der VertrauensprOfung (Reliability thre- 
shold) wird von der Steuerstufe (Mode Control) zur VerfDgung gestelH Es warden also Displace mentlnfor- 
mationen Tf Kr erst nach einer soichen VertrauensprOfung an den Bngang II des Video-Multiplexers 
weitergegeben Fig. 5 zeigt die Displacements fOr ein Feld von Tellbildbereichen (Btocken) vor der 
Codierung zu DPCM-Obertragungssignalen. 

M Bne senderseitige Bildrekonstwktionsstute (Reconstruction) rekonstruiert fOr die bei der Obertragung 
ausgelassenen Bildsequenzen K-1, K-t' aus den berechneten Displacement-Vektoren, die der Ver- 
trauensprOfung unterzogen worden sind - Bngang a-, den zuvor zur Obertragung bes&mmten Bildsequen- 
zen K-2. K-? -Bngang b • und der Steuerinformaton am Ausgang der Steuerstufe (Mode Control) • Bngang. 
c -. die bei der Obertragung ausgelassenen Femsehbildsequenzen K-1, K-1'. Die VertrauensprOfungsstufe 

w vergleicht diese mit den sendersetfg vorfleganden Origlnalsequenzen K-1, bzw. K-1'. Erglbt dieser tellbOd- 
bereichsweise vorgenommene Vergleteh keine Oberebstimmung, so mOssen jewefls Mldpunktabhflngige 
Informationen f Or die betroffenen Teiibildbereiche in den Obertragenen DPCM-Datenstrom elngefQgt wenfen. 
Dazu erhalt der DPCM Coder Uber den Voilbildspeicher (Frame store) und den PCM-6ngang de 
notwendigen Informationen; dii. (fie dort abgelegten rekonstruierten Bildpunkte der beWen letzten Ha&biK 

^ der! Die senderseitige Bildrekonstruktionsstufe kann glefcti aufgebaut sefn wie die entsprechende BHdrekon- 
struktionssiufe bei der empfflngerseHigen Decodierung. Ihr Aufbau wird deshalb erst bei der Beschreibung 
des Decoders nSher eridutert Da die im Voilbildspeicher (frame store) abgelegten DPCM Bildsequenzen tm 
allgemeinen nahezu die gieiche Quelitit wie die bei der Obertragung ausgelassenen Origlnalsequenzen 
besitzen, kann der inhaJt des VoQbildspeichers zur Displacement-Schfitzung anstelle der OrfglnalbBdse- 

4S quenz herangezogen warden -Wirkungslinie K-2 vom Voilbildspeicher zum Displacement-SchStzer. Bn 
zusStzlteher Speicher f Or (fie bei der Obertragung ausgelassenen Bildsequenzen K-1, K-V kann daher 
entf alien. 

Der Video-Multiplexer 1st ausgangsseitig mit einem Buffer beschattet der (fie zu Obertragende Daten- 
menge laufend Qberwacht und (fie coderten Displacements und Steuerlnformationen zusammen mit den 

w DPCM codierten Bildsignalen in einen Datenstrom mit konstanter Obertragungsrate verwandett. Wenn der 
Buffer-FOIlstand (Buffer level) hoch 1st, wird Qber die Steuerstufe der Schweliwert bei der VertrauensprOfung 
(reliability threshold) angehoben. Umgekehrt wird bei einem niedrigen Buffer-FQIlstand dieser Schweliwert 
abgesenkt Auf diese Weise wird de Anzahl der BIScke, fOr die bildelementwelse eine DPCM Obertragung 
erfolgt, zugunsten der Obertragungskapazttfit sparenden Obertragung von Displacement-lnformatlonen be- 

M grenzt 

Urn de Konvergenz bei der Displacement-SchSteung zu beschleunigen, wird dem Displacement- 
Schatzer vom Vektorspeicher ein zuvor ermitteltes Displacement D M zur VerfOgung gesteltt als Startwert 
fUr das neu zu ermitteinde Displacement d.h. es wird als Anfangswert fOr de aktuelte Iteration von der 
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gteichen rfiumilchen Stolid ausgegangen wie bai der ErmftUung des Displacements fflr die zrtffich vorange- 
gangene Bildsequenz. 

Wenn ein ermitteltes Displacement von der Vertrauensprttfung ale nicht zuvertassig quallfiaert wocden 
1st, wird ein Verbotenes Displacement" anstelle des ermittetten Displacements Obertragen. Der 
s empfflngerseitige Decoder Inierprfitiert die darauf folgenden Obertragenen Daten als blldpunktweise DPCM 
Daten fUr einen Block. 

An den Buffer schOeflt sich ein Leltungsmultiptexer (line Mux) an, der ein PCM Tonsignal (Sound) 
sowie einen zusfltzlichen - trei definferbaren - Datenstrom hinzufflgt Nach elner Fehlerschutzschaltung 
(Error Protection) 1st ein 34 Mbitfe-Signal zur Obertragung verfOgbar. 

to Die DPCM-lmplementienjng des Coders und Decoders (Rg. 8) 1st ahnlich zu elnem 3:1:1 .Codec fOr 34 
Mbitte [ PCS 88, aiO, 1988, P. Weiss, L Bengtsson, B. Christensson 'Adaptive DPCM-Codlng of Broadcast 
TH-Signab at 34 Mbitfe.') Da nur Jedes zweite VoHbiW DPCM codiert werden mufl, 1st die Obertragung von 
4±2-Studiosignaien mit mehr als 2,4 Bit/pel magllch • abhSngig von der Anzahl der zosStziich 
Obertragenen BI5cke fUr rekonstrulerte Bilder. 

is Rg. 6 zeigt ein Obersichtsblockschaltbild des DPCM-Coders, der in Fig. 3 nur schematlsch dargesWIt ist 
Die ihn umgebenden Baugruppen gem§8 Rg. 3, <fle In Rg. 6 ebenfaJls enthalten slnd, sind gestrtehelt 
dargestellt Es wlrd erfindungsgemfifl eine Quellcodleamg mittels adapter lntra-/lnterframe DPCM ange- 
wendet mit nachfolgender statistischer Codienjng. Die Daten des DPCM Coders werden aufsummiert mlt 
den anderen Daten des Coders (Displacements, SteuersfgnaJe, TojmiikJ frele Datenslgnaie) und dann in der 

20 Fehlerschutzschaltung gegen Obertragungsfehler urn 5 % Redundanz ergSnzt Die BteuersJgnale des 
DPCM Coders werden als Zusatzinformation Obertragen. Diese vorwirtsadaptive Steuerung (forward adap- 
tive control) des Decoders bring! folgende Vorteile: 

• Schutz gegen Fehlsynchronisation zwischen Coder und Decoder durch Obertragungsfehler, 

- bessere Bildqualttfit da die BiWrekonstruktionsfehler (fie Steuerung des Codec nicht beeinfiussen, 
n * grflflere Ftadbilltat. da die Steuertnformation nicht am decodeiseitigen Ende abgeteitet wird. 

Urn die Obertragung von Steueurlnformatlon trotz vorwirtsadaptiver Steuerung zu gebrenzen werden 
folgende Maflnahmen (Rg. 6) getroffen: 

• die Pr8<fiktor-Auswahl (Predctor Selection) wlrd btockweise vorgenommen, 

- die Quantisier-AuswaM (Quantizer Selection) wlrd jede dritte ZeDe vorgenommen, 
so - die Chrominanzcodlerung wlrd lumlnanzabh&ngig gesteuert 

Bne verbesserte Dekorretelion der BIWnformation ist durch eine adaptive Umschaitung zwischen einem 
Intrafteld-PrSdlktor fOr sich Hndemde, und elnem Interframe^rWiktor fOr statlsche BiHbereiche zu em* 
chen. Der luminanz-Coder (Rg. 8) besteht aus zwei parallel arbeitenden DPCM-Schieifen mit elnem 
Intrafokhmd einem tntraframe-Pradiktor. Nach elnem Block von 9 auteinanderfolgenden Bildpunkten wird 

ss Jewells (fie DPCM-Schleife mit der gerlngsten Datenrate ausgewfihlt, und zusammen mlt der Prftflctor-Um- 
schaltinformation von einem Bit zum Empflnger Obertragen. Die Blockbiidung ist nBflg, urn die zusfitzllche 
Steuerintormation goring zu halten. Sie betrfigt nur 0,055 biVPei bel einem Block, der 9 tuminanz-und 9 
Ovominanz-Bildpunkte umfaBt 

Bei der zur VerfQgung stehenden Datenrate Ist eine statische Codierung des Quanttelerfehlers umver- 

40 meidlich. Es wird ein Huffman-Code verwendet (Rg. 7). Der Quanlisferer (Quantizer) enthSJt 8 verschledene 
QuantislerkennBnien Kir 5 verschledene BufferfOlleffinde (Buffer fill levels). Die feinste und die grfibste 
Kennlinie soli einen Ober/Unterlaul des Bufferspeichers sicher verhindem. (Me mittleren KennGnien werden 
Im Normalbetrleb verwendet und sind Jewells In 2 Versionen fur verschledene Ortflche BIWaWMtfiten (local 
activity) vorhanden. Zur Feststeltung einer Brtiichen Blldaktivitat werden -wie in Rg. 7 dargesteflt • drei 

45 benachbarte Bildpunkte B, C, D elner Zeile und ein BiWpunkt A elner Nachbarzefle eines HalbNIdes nach 
der Beziehung: 

ACT (local activity) « MAX ( I A - B I J A- C I J A- D |.| B - C | f I B - D I . I C - D I ) , 
ausgewertet Wenn ACT < festgelegter Schweltwert ist eine Pr&tfktion mOglich, 
wenn ACT > festgelegter Scttweilwert 1st keine PrSdiktion m8glich. 

60 

Die Quantisierer enthalten Jeweils einen VWL (variable word length) Coder mit elner Codierungsverein- 
barung gem&0 Rg. 7. 

Die Koeffizienten fOr die Prfefflctoren setzen ich aus den Bildpunkten A, B, C, D und X (MIttelwert von 
Interpofierten Bildpunkten) wie fotgt zusammen: 
56 Intrafield-Pradikator » 1/2 # A + 1/8 ' B + V4"C + 1/8D 
tnterframe-PrWlkator £ 1* . 

Die AuswaW der Kennlinie In Abhfingigkeit von der AktMtHl erfolgt biWpunktweise. Da die Pr&diktion In 
aktivon Bildbereichen wenlger zuverfMBIg 1st, haben die entsprechenden Quantisierungskenrtinien einen 
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weniger stark differenzierten Codebaum (Codetree) und eine gtfbere Stufung. Die Adaption der 
CodebSume wird durch die Srtfiche BildakMSt gesteuert und wird bikJelementweise vorgenommen. 

Der Chrominanz-Coder {nicht dargestellt) wird vom luminanz-Coder (Fig. 6) lumlnanzadepbV gesteuert 
Er enthStt nur eine DPCM-Schleife mit zwel Prldiktoren, die vom Luminanz-Coder umgeschaltet warden. Da 

5 die Wahrscheinlichkeit fOr NulHolgen aufgrund der geringen Entropie der Chrominanz-Komponenten relativ 
grofl 1st, wird zusStzlich eine Run-LengtrKJodierung fUr iangere Nuiltoigen verwendet . 

Fig. 8 zeigt ein PrinzipschaJtbild fQr den empffingerseitigen Decoder. Der Leiturtgsdemuftiplexer (Line 
Demux). an den sich die Fehlerkorrektorstufe (Error correction) anschiiefit spaltet den 34 Mbit/5 Datenstrom 
in die Video*. Ton-und Datenkanfile auf. Der Video-DemuHipiexer (Video Mux) trennt die DPCM Daten von 

10 den Irtformationen Ober die Displacements und den Steuerinf ormationen. 

Der DPCM-Datenstrom wird im DPCM-Decoder mit nacfigeschaltetem Voflblidepelctier (Frame store), die 
Displacements im replacement-Interpolator und die Steuerinformalfonen in der Steuerstufe (controller) 
weiterverarbeitet Die Steuerstufe steuert sowohl den Vollbildspeicher (Frame store) Ober derr Multiplexer 
(Mux) als auch den DisplacemenMnterpoletor. Ober den Multiplexer (Mux) warden beide Zwelge fOr die 

15 Bildwiedergabe vereinigt Im Decoder wird das DPCM-Bild k-2 rekonstniert und gespetoheri Bild k-1 wird 
aus k-2 mit den Qbertragenen Displacements und einem FIR-lrrtsrpolationsfitter (2*DiM RR), welcher 
Bestandteil das Interpolators 1st, hergestelH Die SteuerWormatton wird ausgewertet und die Qbertragenen 
Bldcke werden eingesetzt Die PCM-Tondaten werden In ein Anaiogsigna! (Sound) zurOckverwandelt 
Der DPCM-Decoder besteht jewells aus einer DPCM-Schleife (Or den Luminanz-und den Chrominanza- 

20 nteil. Vor dem DPCM-Decoder 1st ein VWL-Decoder angeordnel Der VWL-Decoder, dessen Struktur in Rg. 
8 dargesteltt 1st, iiefert Datenworte konstanter WortWnge. Die VWL-Decodierung tmpliriort einen nicht 
gleichfSrmigen Datenflufl, der durch einen extemen Pufferspeicher (Buffer Store) geglittet wird. Der 
Pufferspeicher waist erhebllch mehr SpeicherkapazMt auf als der korrespondierende Buffer des Coders, da 
eine Verbindung zum Lese-Polnter dee Decoder-Buffers In AbhSngigkeJt vom Schreib-Polnter hergesteOt 

x werden mufl zur Vertiinderung des AuBertrtttfallens des Lese-Pointers, wenn coderseitig Feinquantislerun- 
gen zum FQIien des Buffers abgegeben werden. Ober zwel Delay-Flip-Flops (OFF) 1st der Ausgang des 
Pufferspeicners mit einem Multiplexer (Mux) verbunden. Innerhalb einer Qock-Periode bringt dleser 
Multiplexer das VWL Codewort in die ricrrtige Position zur Verarbeitung durch einen aus dem Stand der 
Technik bekannten Decoder. Dlesem Decoder wird ein DPCM Steuerslgnai vom DPCM Decoder (Fig. 10) 

ao zugefOhrt Neben dem 8 Bit breiten DPCM Ausgangssignal gibt der Decoder ein 4 Bit breites Signal an den 
Pointer Recftner (Pointer Calculator) wetter, der einen Ausgang zur Steuerung des Pufferspeichars und 
einen Ausgang zur Steuerung des Multiplexers aufwetet 

Der DPCM-Decoder (Fig. 10) (Or den Luminanzanteil rekonstniert die PCM Signale von Wldpunktweise' 
in DPCM Qbertragenen Biecken. Die PrSdiktionswerte werden durch einen PrBdflctor (Predictor), der Ober 

35 ein Steuerwerk (Controller) gesteuert wird, und eine Addlerstufe (Add.) gebildet Die Koefflzientenwertigkeit 
(Coeff.) wird vom Steuerwerk bereitgesteirt Der Multiplexer Mux1 wird foigendermaflen benutzt Wfihrend 
der Obertragung von DPCM Bildsequenzen 1st dieser Multiplexer stfindig zu den gerade rekonstrulerten 
BikJpunkten durchgeschaftet Zur Rekonstruktion DPCM Obertragener Blficke Innerhalb der Interpolierten 
Bildsequenzen ist der Multiplexer Muxl zum Interpolator an den Bbckkanten durchgeschaltet Der Multiple- 

40 xer Mux2 ermBgllcht den Zugrtff zu Daten fQr eine zweidlmensionale Prfidlktion; d.h. Prfidlktion aus nur 
einer Bikteequenz (Halbbild), mHtels des Une-Buffers oder elner dreidimensfonaJen Prfidiktion; d.h. 
PrSdiktion aus zwei Bildsequenzen (HalbbfWem) mHtels des Inhatta des Vollblldspeichers (Frame Store). Die 
Auswahl der Multiplexer Muxl und Mux2 erfolgt durch ein Select-Kommando des Steuerwerkes. 

Der In Rg. 8 angefQhrte Displacement-Interpolator ist in Fig. 11 in Etnzelbaugruppen dargesteltt Die 

45 KompfexMt der Interpolation 1st in der benStigten Oberabtastung begrQndet zur exakten Rekonstruktion von 
BI5cken mft nichtgaruzahlfgen Displacements. WQrden nichtganzzahlige Displacements mit einer einfachen 
paraboKschen Interpolation 1. Ordnung reallsiert, wOrde eine deutliche Abnahme der Bitdschfirfe auftreten, 
wie sfe fur HQTV nicht toiertert werden kann. Nichtganzzahlige Displacements werden deshalb durch ein 
beispielsweise 77 pofiges RR-Rfter interpoRert, das Oberabtastfaktoren von 8 fQr die x-Richtung und 16 fQr 

so die y-Rlchtung ermdgllcht Der ganzzahfige Teil des Displacements wird fQr jeden Block mittels eines 
Steuerwerkes (Controller) durch Errechnen der Adresse ermittelL FQr die Echtzettverarbeitung werden drei 
parallel arbertende Rfter Rl. FI2 und F13 verwendet. Zuerst wird ein Block in x-Richtung verschoben. Das 
Ergebnis wird im Buffer abgelegt Zur Verschiebung des Blocks in y-Richtung wird das gleiche Rfter im 
Zertmurtiplexbetrieb verwendet Der in Rg. 11 angefQhrte Interpolation-Buffer ist in Rg. 12 im Detail 

55 dargesteltt. Er besteht im wesentllchen aus 9 8chleberegistem mft einer Wortbrerte von 8 Bits und elner 
Tiefe von 13 Stufen. Nach der Verarbeitung in x-Richtung enthftft iedes Schieberegister eine Spafte des 
verarbeiteten Blocks. Das Displacement in y-Richtung wird nun SpaJte fUr Spate berechnet 

Die Rguren 13, 14, 15 und 18 zeigen Strukturetemente dee Interpolationsfirters mit Oberabtastung. Die 
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DatenstrBme vom Buffer-Demux. (Rg. 12) warden Uber Delay-Rip-Flops (OFF) und vom Steuerwerk Ober 
PROM gesteuerte MultipHzierer zu elnem Summierer mit dan BngSngen 81 bis S1 1 gefOhrt (Pig. 13). 
Wegen der relativ groSen Zahl von Rter-Koeffizienten 1st zur Reduzierung des Schaitungsaufwandes eine 
vereinfachte Multiplizierstruktur (Fig. 14) gewShlt Die Multipllzlerer (Fig. 14) bestehen Jewells aus zwei 
6 BarrehShiftern, dererv Ausgangsdaten addiert warden und an Delay-Rip-Flops weriergefflhrt warden. Den 
Aufbau der Barrel-Shifter zeigt Rg. 15. Hire Aufgabe 1st, das 8 Bit breite Oatermort urn bis zu 8 Piatze nach 
rechts zu schieben. Die Platzverschiebung wird vom Steuerwerk in AbhSngigkelt der Rlter-KoeffWenten 
vorgenommen. Die Ausgangsslgnala der Muttlpfizierer warden aufsummiert in einem Pipelin*strukturterten 
Addlerer(Rg.16). 

10 Die FemsehbiWslgnalcodlenjng mit bewegungskompensterter Volibildinterpolation (Motion compensated 
frame interpolation - MCFI) und Obertragung von VerscWebungsvektoren (Displacements) kann auf mehrere 
Arten modhlziert und evtl. verbessert warden, MCH kann mit alien Quellcodierungsverfahren, wie befsplels- 
weise: 
-Prfldiktive Codierung, 
75 -Transform atkmscodierung, 
-Interpolativa Codierung, 

-Statistische Codierung, z.B. Huffmann-Codierung, 
kombinlert warden. 

Die Erfindung wurde In inem AusfQhrungsbelsptel anhand der DPCM-Codierung mtt intrafieW- 
20 /Interframe-PrSdiktion vorgesteitt im Coder 1st der Dis placement- Schfitzer Jedoch inhfirent Es 1st dahar 
mSgBch, stalische Interframe-Pridiktta durch bewegungskompenslerte Interframe-PrfidWlon zu ersetzen. 
Diese (Combination fOhrt zu einer besseren Korretetion. Der Nachteil deses Verfahrens Oegt darfn, daB cfie 
VerscWebungsvektoren in DPCM codierten BJId-Sequenzen als Zusatzirtformation Obertragen warden 
mOssen. Eine wetter© MSglichkeft 1st der Austausch der DPCM-Codierung durch eine DCT (Discrete- 

39 Cosine-Transform) -Codierung. 

Bne Verbesserung liegt in der DIsplacement-SchStzurtg als zeitHcher Prtidiktton und der DCT zur 
Codierung des Pr&diktJonsfehlers. Bei cfieser (Combination kSnnen afle Berechnungen parallel ausgefOhtt 
werden. Dies 1st eine wtchtige Bgenschaft fOr HDTV Obertragungscodierung bei einer Kanalbfrate von 140 
Mbft/s. 

30 

Ansprtlche 

1. Verfahren zum Obertragen von FemsehWkfcequenzen mittete anas Datanstromes Ober efnen 
35 Obertragungskanal mit begrenzter Obertragungskapazltit sowie zum Wiedergeben der FernsehbiWsequen- 

zen, wobei senderseftig vortendene FemsehWkteequenzen teflwelse bairn Obertragen ausgelassen warden, 
und wobei empfflngersettig eine Rekonstruktion einer bairn Obertragen ausgelassenen Farnsehbildsequenz 
vorgenommen wird, dadurch oekennzetchnet, daB cfle empf§ngerseitige Rekonstruktion einer ausgelassenen 
Femsehbildsequenz aus einer zuvor Qbertragenen Femsehbildsequenz und einem Qbertragenen Signal 

40 erfolgt das eine Information Ober die Verschiebung elnes Teiibildbereiches zwischen einer Qbertragenen 
und emer ausgelassenen Femsehbildsequenz enthSIt, daB bei Telibiklberelchen, fOr die der senderseftfge 
Vargteich zwtechen ausgetessener Femsehbildsequenz und aufgrund der Information Ober die Verschiebung 
gebildetar FemsehWkteequenz keine Obereirtstimmung ergibt kein Signal mit der Information Ober eine 
Verschiebung eines TeitoiWberefches Obertragen wird, sondem Jewells bildpunktabhSngige Infonnabonen 

49 fQr diesen Teilbfldberelch In den Obertragenen Datenstrom e!ngefOgt werden. 

2. Verfahren nach Anspruch 1, dadurch getennzeichnet, daB die Information Ober die Verschiebung 
eines. Teiibildbereiches JeweOs durch einen VerscWebungsvektor (Displacement) beschrieben wird, der (fie 
Bewegungsrichtung des jeweiligen Teiibildbereiches angibt 

3. Verfahren nach Anspruch 2, dadurch oekennzeicnet daB die Verschlebungsvektoren terativ ge- 
60 schatzt werden; 6Jti das Ergebnls eines jeden rterationsschrittes wird als Startwert fOr den nSchsten Schritt 

benutzt 

4. Verfahren nach Anspruch 3. dadurch petennzeichnet, daB bei jedem Kerationsschritt fOr die 
Bestimmung eines Verschiebungsvektors von der glefchen r&umBchen Steile der zettfteh vorangegangenen 
Femsehbildsequenz als Startwert ausgegangen wird. 

66 
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5. Verfahren nach einem der AnsprOche 2 bis 4, dadurch gekennzeichnet dag cfle GOHigkeit eines 
aktueiten Verschiebungsvektore elnes TeilbiWbereiches innertialb einer Nachbarschett von TelWWbereichen 
QberprOft wird, und da£ bei Abweichung des aktuellen Verschiebungsvektors von den Ver- 
schiebungsvektoren der benachbarten TeilHIdbereiche dieser durch den MHtelwert der Ver- 

6 schiebungsvektoren der benachbarten Teilbildbereiche ersetzt wird. 

6. Verfahren nach einem der AnsprOche 3 bis 5, dadurch gekennzeichnet, daft ein dynamisches 
SchStzfenster zur BestJmmung der VerschiebungsveMoren angewendet wird, dafl dieses SchStzfenster 
dann verdoppelt wird, wenn der Betrag des im ersten (terationsschrftt ermittelten Verschiebungsvektors 
grOfler 1st als die Hfittte des Betrages der Schfitzfensterabmessungsn, und dafl dlese 

10 Sch8tzfenstervergr80erung so lange wlederholt wird bis der Verschlebungsvektor innerhafo des 
SchStzfensters liegt 

7. Verfahren nach einem der AnsprOche 1 bis 6. dadurch oekennzeichnet daB nicht ganzzahBge Ver- 
schlebungsvektonm, die bei digttaler Wichtung fOr die Obertragung entstehen, durch ein vietpoli^s FIR 
(fintoHmpulse^sponse) -Fitter, das Oberabtastfaktoren hdher Ordnung zulUt, InterpoBert warden. 

r6 8. Verfahren nach einem der AnsprOche 3 bis 7, dadurch oekennzeichnet, dafl singulars Zeilen, die 
beim Zeilensprungverfahren durch Unterabtastung des BildinhaHes in vertikaler Richtung entstehan, vor der 
iterativen Schfitzung der Verschiebungsvektoren durch Tlefpaflfilterung gedSmpft werden. 

9. Verfahren nach einem der AnsprOche 1 Us 8, dadurch gekennzeichnet dafl die Obertragenen 
Femsehbitdsequenzen senderseitig digital quellcodiert werden und empfMngerseitig entsprechend decodiert 

30 werden. 

10. Verfahren nach Anspruch 9, gekennzeichnet durch eine prSdiktive Codierung/Decodierung. 

11. Verfahren nach^ Anspruch 9, oekennzeichnet durch eine Transfomiatiorm)(fierimg/-decodierung, 
beispielsweise eine DCT (Discrete Cosinua-Transformatfon). 

12. Verfahren nach Anspruch 9, oekennzeichnet durch eine interpolate Codierung/Decodierung, 

25 13. Verfahren nach Anspruch 9, oekennzeichnet durch eine statistische Codierung/Decodierung, bet- 
spielsweise eine Hufmann-Codierung/Decodierung. 

14. Verfahren nach Anspruch 9. gekennzeichnet durch gteichzeitiges Anwendung mindestens zweler 
Maflnahmen gem 86 den AnsprOchen 1 0 bis 1 3. 

30 
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